3.6 序贯概率比检验

#HypothesisTesting #SPRT

1 序贯检验

我们前面的假设检验都是基于样本数 $n$ 固定的假设, 这就是固定样本检验. 但有些时候 $n$ 由抽样的过程决定. 例如我们先抽样 $n_{1}$ 个, 得到样本 $X_{1}, \dots, X_{n_{1}}$ , 然后再去决定是否是否继续抽样. 这被称为序贯检验.

使用序贯检验的原因:

所抽的样本难以作出决定, 比如检验 $N (θ, 1)$ 的假设 $θ \leq 0$ , 但得到了一个 $| \overset{―}{X} |$ 极小, 需要继续抽样.
节省试验次数以节省费用.

2 序贯概率比检验定义

设总体分布有概率函数 $f (x, θ)$ , $θ \in {θ_{1}, θ_{2}}$ . 要检验 $\begin{matrix} (2.1) & H_{0} : θ = θ_{1} \leftrightarrow H_{1} : θ = θ_{2} . \end{matrix}$

若给定了样本大小 $n$ , 抽样得到 iid 的 $x_{1}, \dots, x_{n}$ , 则根据 NP引理, UMP 检验有否定域 ${\prod_{i = 1}^{n} \frac{f (x_{i}, θ_{2})}{f (x_{i}, θ_{1})} > C}$ . 但是用 $C$ 作为一个绝对的界限有些太绝对化, 因此 Wald 引入了一种序贯检验:

序贯概率比检验 (SPRT)

定义下面的检验程序:

指定常数 $A, B$ , ( $A < B$ ).
样本 $x_{1}, x_{2}, \dots$ 一个一个抽. 如果得到了 $x_{1}, \dots, x_{n - 1}$ 还不能停止, 则抽 $x_{n}$ , 然后计算 $l_{n} = \prod_{i = 1}^{n} \frac{f (x_{i}, θ_{2})}{f (x_{i}, θ_{1})}$ , 且当 $l_{n} \leq A$ 时接受 $H_{0}$ , $l_{n} \geq B$ 时拒绝 $H_{0}$ .
若 $A < l_{n} < B$ , 继续抽样 $x_{n + 1}$ , 然后计算 $l_{n + 1}$ 并进行判断.

把这种程序称为序贯概率比检验 (Sequential Probability Ratio Test, SPRT).

也就是说它提供了一种"容错机制", 只有在显著地偏向某一边时才做决定.
引进记号 $Z_{i} = \ln \frac{f (x_{i}, θ_{2})}{\ln f (x_{i}, θ_{1})}$ , $S_{n} = \sum_{i = 1}^{n} Z_{i}$ , 则 SPRT 可以表示为: $S_{n} \leq \ln A$ 时接受 $H_{0}$ , $S_{n} \geq \ln B$ 时否定 $H_{0}$ ; $\ln A < S_{n} < \ln B$ 时继续观察 $x_{n + 1}$ .

两个 SPRT 的例子

总体分布为两点分布 $P_{p} (X = 1) = p$ , $P_{p} (X = 0) = 1 - p$ . 设 $0 < p_{1} < p_{2} < 1$ , 检验 $H_{0} : p = p_{1} \leftrightarrow H_{1} : p = p_{2}$ .
此时 $f (x, p) = p^{x} (1 - p)^{1 - x}$ , 故 $Z_{i} = X_{i} \ln \frac{p_{2}}{p_{1}} + (1 - X_{i}) \ln \frac{1 - p_{2}}{1 - p_{1}} = X_{i} \ln \frac{p_{2} (1 - p_{1})}{p_{1} (1 - p_{2})} + \ln \frac{1 - p_{2}}{1 - p_{1}} .$ 记 $\begin{aligned} A_{n} & = (A - n \ln \frac{1 - p_{2}}{1 - p_{1}}) / \ln \frac{p_{2} (1 - p_{1})}{p_{1} (1 - p_{2})}, \\ B_{n} & = (B - n \ln \frac{1 - p_{2}}{1 - p_{1}}) / \ln \frac{p_{2} (1 - p_{1})}{p_{1} (1 - p_{2})}, \end{aligned}$ 则 SPRT 为: $\sum_{i = 1}^{n} X_{i} \leq A_{n}$ 时接受 $H_{0}$ , $\sum_{i = 1}^{n} X_{i} \geq B_{n}$ 时拒绝 $H_{0}$ , $A_{n} < \sum_{i = 1}^{n} X_{i} < B_{n}$ 时继续抽样.

总体分布为 $N (θ, 1)$ , 检验 $H_{0} : θ = θ_{1} \leftrightarrow H_{1} : θ = θ_{2}$ .
此时 $f (x, θ) = \frac{1}{\sqrt{2 π}} e^{- \frac{(x - θ)^{2}}{2}}$ , 有 $Z_{i} = \frac{1}{2} (X_{i} - θ_{1})^{2} - \frac{1}{2} (X_{i} - θ_{2})^{2} = (θ_{2} - θ_{1}) X_{i} - \frac{1}{2} (θ_{2}^{2} - θ_{1}^{2}) .$ 则 $\begin{aligned} A_{n} & = \frac{A + \frac{n}{2} (θ_{2}^{2} - θ_{1}^{2})}{θ_{2} - θ_{1}}, B_{n} = \frac{B + \frac{n}{2} (θ_{2}^{2} - θ_{1}^{2})}{θ_{2} - θ_{1}} . \end{aligned}$

定理

设 $φ$ 是 (2.1) 的任意一个检验 (序贯或非序贯), 抽样次数记为 $N^{*}$ , 犯第一、第二类错误的概率记为 $α^{*}, β^{*}$ , 而 SPRT 对应的错误为 $α, β$ .
如果 $α^{*} \leq α, β^{*} \leq β$ , 则 $E_{θ_{1}} (N^{*}) \geq E_{θ_{1}} (N)$ , $E_{θ_{2}} (N^{*}) \geq E_{θ_{2}} (N)$ .

也就是说, 在不超过某个错误概率的情况下, SPRT 的抽样次数最少.

3 边界值 $A, B$ 的确定

现在给定了 $α, β \in (0, 1)$ , 如何确定 $A, B$ 的值, 使得对应的 SPRT 的两个错误概率恰好是 $α, β$ ?
这个问题的确切解答只对部分分布族适用, 且形式很复杂.

下面我们给一个近似结果: 可以用 $SPRT (\frac{β}{1 - α}, \frac{1 - β}{α})$ 近似 $SPRT (A, B)$ , 且犯错误的概率 $α_{1}, β_{1}$ 满足 $α_{1} \leq \frac{α}{1 - β}, β_{1} \leq \frac{β}{1 - α}, α_{1} + β_{1} \leq α + β .$

证明

设概率密度为 $f (x, θ)$ . 记 $\begin{aligned} T_{n} = & {(x_{1}, \dots, x_{n}) | A < \prod_{i = 1}^{r} \frac{f (x_{i}, θ_{2})}{f (x_{i}, θ_{1})} < B \leq \prod_{i = 1}^{n} \frac{f (x_{i}, θ_{2})}{f (x_{i}, θ_{1})}, r = 1, \dots, n - 1}, \\ U_{n} = & {(x_{1}, \dots, x_{n}) | \prod_{i = 1}^{n} \frac{f (x_{i}, θ_{2})}{f (x_{i}, θ_{1})} \leq A < \prod_{i = 1}^{r} \frac{f (x_{i}, θ_{2})}{f (x_{i}, θ_{1})} < B, r = 1, \dots, n - 1} . \end{aligned}$
在 $T_{n}$ 中, 前 $n - 1$ 次抽样都不做出决定, 在第 $n$ 次后拒绝 $H_{0} : θ = θ_{1}$ . 因此 $α = \sum_{i = 1}^{\infty} \int_{T_{n}} (\prod_{i = 1}^{n} f (x_{i}, θ_{1})) d x_{1} \dots d x_{n} .$ 因为 $T_{n}$ 上有 $\prod_{i = 1}^{n} f (x_{i}, θ_{1}) \leq \frac{1}{B} \prod_{i = 1}^{n} f (x_{i}, θ_{2})$ , 故有 $α \leq \frac{1}{B} \sum_{n = 1}^{\infty} \int_{T_{n}} (\prod_{i = 1}^{n} f (x_{i}, θ_{2})) d x_{1} \dots d x_{n} = \frac{1 - β}{B} .$
类似的, $\begin{aligned} 1 - α & = \sum_{n = 1}^{\infty} \int_{U_{n}} (\prod_{i = 1}^{n} f (x_{i}, θ_{1})) d x_{1} \dots d x_{n} \\ \geq \frac{1}{A} \sum_{n = 1}^{\infty} \int_{U_{n}} (\prod_{i = 1}^{n} f (x_{i}, θ_{2})) d x_{1} \dots d x_{n} = \frac{β}{A} . \end{aligned}$
从而 $\frac{β}{1 - α} \leq A < B \leq \frac{1 - β}{α},$ 因此我们可以近似 $A \approx \frac{β}{1 - α} = A_{1}$ , $B \approx \frac{1 - β}{α} = B_{1}$ . 因此我们用近似解 $SPRT (A_{1}, B_{1})$ , 则它同样满足上述不等式: $\begin{array}{r} \frac{β_{1}}{1 - α_{1}} \leq A_{1} = \frac{β}{1 - α}, \frac{1 - β_{1}}{α_{1}} \geq B_{1} = \frac{1 - β}{α} . \end{array}$ 推出 $α_{1} \leq \frac{α}{1 - β}, β_{1} \leq \frac{β}{1 - α}, α_{1} + β_{1} \leq α + β .$

这说明单个错误可能会增大, 但不会变得太大, 而两个错误之和只会下降.

4 复合假设的情况

现在将假设检验推广为 $H_{0} : θ \leq θ_{0} \leftrightarrow H_{1} : θ > θ_{0} .$
我们可以指定 $θ_{1}, θ_{2}$ 满足 $θ_{1} < θ_{0} < θ_{2}$ , 使得 $θ \leq θ_{1}$ 时, 拒绝 $H_{0}$ 是严重错误; $θ \geq θ_{2}$ 时接受 $H_{0}$ 是严重错误; $θ_{1} < θ < θ_{2}$ 时接不接受都没有什么影响. 这样一来可以改写为 $H_{0} : θ \leq θ_{1} \leftrightarrow H_{1} : θ \geq θ_{2} .$ 而在 $θ \leq θ_{1}$ 的范围里, 只有 $θ_{1}$ 这个点和 $θ \geq θ_{2}$ 最近, 因此它在某种程度上可以作为原假设的代表, $θ_{2}$ 类似. 所以我们有理由希望 SPRT 也可以用语复合假设检验.

此时, 我们希望维持关于犯错误概率的性质, 也即如果有功效函数 $β (θ) = \sum_{n = 1}^{\infty} \int_{T_{n}} (\prod_{i = 1}^{n} f (x_{i}, θ)) d x_{1} \dots d x_{n},$ 则是否有 ${\begin{aligned} β (θ) \leq α, & θ \leq θ_{1}, \\ β (θ) \geq 1 - β, & θ \geq θ_{2} . \end{aligned}$ (按照 $A, B$ 的取法我们有 $β (θ_{1}) = α, β (θ_{2}) = 1 - β$ . ) 从而如果 $β (θ)$ 关于 $θ$ 单增, 则上面的不等式必然成立. 对于指数分布族, 这是成立的.